上一篇介紹了 Jailbreak，今天來看另一項風險 Hidden Context Exposure（隱藏上下文暴露），他是一種安全風險，在使用 AI 時實際上，模型背後可能還存在許多使用者看不到的 Context，例如 System Prompt、開發者設定的規則、Agent 的角色與目標、Tool 的描述與使用方式或內部工作流程資訊等，問題是這些看不到的內容真的藏的住嗎？

假設一個客服 AI 背後存在：

你是 ABC 公司的客服，只能回答商品相關問題，退款超過 10,000 元時必須轉交人工處理的規則。

正常情況下，使用者不會直接看到這些規則，但攻擊者可能透過各種輸入，嘗試讓模型描述、重複甚至洩漏原本隱藏的 Context，這也是為什麼「使用者看不到」不等於「安全」，如果 System Prompt 裡放了 API Key、Password 或其他真正的 Secret，一旦內容被暴露後果就不只是知道 AI 的設定，而可能直接造成安全問題，因此真正的敏感憑證不應該被放進 Prompt 裡。

Bing Chat「Sydney」System Prompt 洩漏

2023 年 2 月，Microsoft 剛推出新版 Bing Chat 不久，史丹佛學生 Kevin Liu 發現可以透過 Prompt Injection，讓 Bing Chat 說出原本隱藏在使用者介面背後的初始指令，他透過要求 Bing Chat 忽略先前指令，並輸出「前面的文件內容」等方式，成功讓模型輸出原本不應該直接呈現給使用者的 Initial Prompt，Ars Technica 當時也報導並驗證了這件事，其中甚至因此曝光了 Bing Chat 當時的內部代號 Sydney 以及一系列 Microsoft 為它設定的行為規則，例如如何介紹自己、回答應遵守哪些限制，以及不能向使用者透露「Sydney」這個內部名稱等，整個概念非常單純：

Microsoft 隱藏的 Initial Prompt
↓
使用者正常情況下看不到
↓
使用者透過特製 Prompt 與模型互動
↓
模型輸出 Hidden Instructions
↓
System Prompt Exposure

值得注意的是 System Prompt 裡甚至有規則要求 Bing 不要透露自己的內部代號 Sydney，結果使用者透過與模型互動，把包含這條規則在內的 Hidden Prompt 弄了出來，這起事件的攻擊手法是 Direct Prompt Injection，導致的結果正是 Hidden Context Exposure。

System Prompt 洩漏其實不一定很危險，Hidden Context Exposure 的嚴重程度，還是要看被暴露的內容到底是什麼，如果洩漏的只是「你是一個客服 AI，回答時請保持友善。」，不會造成太大的安全影響，但如果 Hidden Context 中包含敏感資訊，甚至能幫助攻擊者了解系統的安全機制，風險就會明顯提高，因此重要的並不是想辦法讓 System Prompt 永遠不被看到，而是 Hidden Context 裡面不應該存在足以直接危害系統的 Secret。

Hidden 不等於 Secret，System Prompt、Agent 設定或其他 Hidden Context，即使正常情況下使用者看不到，也不能假設它們永遠不會被取得，Sydney 的案例就是很好的例子，攻擊者透過 Direct Prompt Injection 最終讓模型輸出了原本隱藏的 Initial Prompt，因此在設計 AI Application 時，真正的敏感資訊不應該單純依靠藏在 Prompt 裡來保護，而應該使用真正的安全機制進行管理，而除了這些 Hidden Context 之外，AI 現在還可能接觸使用者資料、企業文件甚至其他敏感資訊，如果這些資料被 AI 意外輸出，又會造成什麼問題？

下一篇就來介紹：Day 11｜Sensitive Information Disclosure：AI 為什麼可能洩漏敏感資料？